package main

import (
	"fmt"
	"io"
	"log"
	"net/http"
)

func main() {
	res, err := http.Get("https://www.baidu.com/robots.txt")
	if err != nil {
		log.Fatal(err)
	}

	robots, err := io.ReadAll(res.Body)
	if err != nil {
		log.Fatal(err)
	}
	res.Body.Close()

	//User-agent: Baiduspider
	//Disallow: /baidu
	//Disallow: /s?
	//Disallow: /ulink?
	//Disallow: /link?
	//Disallow: /home/news/data/
	//Disallow: /bh
	//
	//User-agent: Googlebot
	//Disallow: /baidu
	//Disallow: /s?
	//Disallow: /shifen/
	//Disallow: /homepage/
	//Disallow: /cpro
	//Disallow: /ulink?
	//Disallow: /link?
	//Disallow: /home/news/data/
	//Disallow: /bh
	//
	//User-agent: MSNBot
	//Disallow: /baidu
	//Disallow: /s?
	//Disallow: /shifen/
	//Disallow: /homepage/
	//Disallow: /cpro
	//Disallow: /ulink?
	//Disallow: /link?
	//Disallow: /home/news/data/
	//Disallow: /bh
	//
	//User-agent: Baiduspider-image
	//Disallow: /baidu
	//Disallow: /s?
	//Disallow: /shifen/
	//Disallow: /homepage/
	//Disallow: /cpro
	//Disallow: /ulink?
	//Disallow: /link?
	//Disallow: /home/news/data/
	//Disallow: /bh
	//
	//User-agent: YoudaoBot
	//Disallow: /baidu
	//Disallow: /s?
	//Disallow: /shifen/
	//Disallow: /homepage/
	//Disallow: /cpro
	//Disallow: /ulink?
	//Disallow: /link?
	//Disallow: /home/news/data/
	//Disallow: /bh
	//
	//User-agent: Sogou web spider
	//Disallow: /baidu
	//Disallow: /s?
	//Disallow: /shifen/
	//Disallow: /homepage/
	//Disallow: /cpro
	//Disallow: /ulink?
	//Disallow: /link?
	//Disallow: /home/news/data/
	//Disallow: /bh
	//
	//User-agent: Sogou inst spider
	//Disallow: /baidu
	//Disallow: /s?
	//Disallow: /shifen/
	//Disallow: /homepage/
	//Disallow: /cpro
	//Disallow: /ulink?
	//Disallow: /link?
	//Disallow: /home/news/data/
	//Disallow: /bh
	//
	//User-agent: Sogou spider2
	//Disallow: /baidu
	//Disallow: /s?
	//Disallow: /shifen/
	//Disallow: /homepage/
	//Disallow: /cpro
	//Disallow: /ulink?
	//Disallow: /link?
	//Disallow: /home/news/data/
	//Disallow: /bh
	//
	//User-agent: Sogou blog
	//Disallow: /baidu
	//Disallow: /s?
	//Disallow: /shifen/
	//Disallow: /homepage/
	//Disallow: /cpro
	//Disallow: /ulink?
	//Disallow: /link?
	//Disallow: /home/news/data/
	//Disallow: /bh
	//
	//User-agent: Sogou News Spider
	//Disallow: /baidu
	//Disallow: /s?
	//Disallow: /shifen/
	//Disallow: /homepage/
	//Disallow: /cpro
	//Disallow: /ulink?
	//Disallow: /link?
	//Disallow: /home/news/data/
	//Disallow: /bh
	//
	//User-agent: Sogou Orion spider
	//Disallow: /baidu
	//Disallow: /s?
	//Disallow: /shifen/
	//Disallow: /homepage/
	//Disallow: /cpro
	//Disallow: /ulink?
	//Disallow: /link?
	//Disallow: /home/news/data/
	//Disallow: /bh
	//
	//User-agent: ChinasoSpider
	//Disallow: /baidu
	//Disallow: /s?
	//Disallow: /shifen/
	//Disallow: /homepage/
	//Disallow: /cpro
	//Disallow: /ulink?
	//Disallow: /link?
	//Disallow: /home/news/data/
	//Disallow: /bh
	//
	//User-agent: Sosospider
	//Disallow: /baidu
	//Disallow: /s?
	//Disallow: /shifen/
	//Disallow: /homepage/
	//Disallow: /cpro
	//Disallow: /ulink?
	//Disallow: /link?
	//Disallow: /home/news/data/
	//Disallow: /bh
	//
	//
	//User-agent: yisouspider
	//Disallow: /baidu
	//Disallow: /s?
	//Disallow: /shifen/
	//Disallow: /homepage/
	//Disallow: /cpro
	//Disallow: /ulink?
	//Disallow: /link?
	//Disallow: /home/news/data/
	//Disallow: /bh
	//
	//User-agent: EasouSpider
	//Disallow: /baidu
	//Disallow: /s?
	//Disallow: /shifen/
	//Disallow: /homepage/
	//Disallow: /cpro
	//Disallow: /ulink?
	//Disallow: /link?
	//Disallow: /home/news/data/
	//Disallow: /bh
	//
	//User-agent: *
	//Disallow: /
	fmt.Println(string(robots))
}
